Dưới triều đại Giáo hoàng Gioan XXIII, một biến cố rất lớn và có tầm ảnh hưởng quan trọng trong lịch sử Giáo hội đã xảy ra, đó là ông triệu tập Cộng đồng Vatican II đưa Giáo hội nhập cuộc vào thế giới tân tiến của thời đại ngày nay.

Qua tông sắc "Humanae Salutis", ông triệu tập Công đồng Chung XXI, quen gọi là Cộng đồng Vatican II (khai mạc ngày 11 tháng 10 năm 1962). Cộng đồng nghiên cứu về mọi mặt của Giáo hội: đời sống phụng vụ, các mối quan hệ xã hội, Giáo hội và thế giới hiện đại, Giáo hội Công giáo và phong trào đại kết.

Chuẩn bị công đồng

Ngày 25 tháng 1 năm 1959, ông loan báo ý hướng của ông về việc triệu tập một công đồng đại kết để "cập nhật hóa" (aggiornamento) Giáo hội. Ông đã mời các quan sát viên ngoài Công giáo đến dự Công đồng và thành lập một ban thư ký cho việc hiệp nhất. "Chúng ta hãy hiệp nhất với nhau và hãy chấm dứt mọi bất hòa".

Sau một thời gian làm việc chuẩn bị khẩn trương, Công đồng đã mở năm 1962. Dù tin tức được phổ biến nhưng ít người nghĩ đây là một biến cố quan trọng. Nhưng Giáo hoàng muốn đây là lúc mở toang "các cửa sổ" của Giáo hội để nhận một luồng gió mát mới mẻ thổi vào. Giáo hội đang cần sự tiến bộ để theo kịp những trào lưu tân tiến.

Nhà báo Francis Mayor viết: (tóm ý) Khi hỏi giáo chủ Gioan XXIII về cộng đồng Vatican II rằng: Chương trình ra sao? Khi nào khai mạc? Thì được trả lời "Để xem Chúa bảo sao đã"...

Năm 1959, Giáo hoàng Gioan XXIII đã liên tiếp công bố 4 Thông điệp: Ad Petri Cathedram (29 tháng 6), trong đó nói đến mục đích của cộng đồng là đẩy mạnh đức tin, canh tân phong hóa, thích ứng các kỷ cương giáo hội với trình độ tiến hóa hiện đại; Sacerdotii nostri Primordia (1 tháng 8) về chức Linh mục; Grata Recordatio (26 tháng 9) về việc đọc kinh mân côi; và đặc biệt thông điệp Princeps Pastorum (28 tháng 11) nói về công cuộc truyền giáo, đặt hy vọng có nhiều tiến triển trong ngành này. Ngày 14 tháng 12 năm 1959 ông tấn phong thêm 8 vị vào hồng y đoàn.

Năm 1960, ngoài việc triệu tập công đồng giáo phận Roma. Ngày 28 tháng 3 ông đặt thêm 7 vị hồng y (và 3 vị in pector), trong số này có ba vị ở xứ truyền giáo 1 Nhật Bản, 1 Philippines và 1 Tanganyika.

Ngày 8 tháng 5, ông đích thân tấn phong 14 Giám mục thừa sai. Nhiều hàng giáo phẩm địa phương được thiết lập trong các năm 1960 - 1962.

Ngày 24 tháng 11 năm 1960, một biến cố lớn đối với Giáo hội Việt Nam, khi Giáo hoàng Gioan XXIII ban tông hiến Venerabilium Nostrorum, thiết lập phẩm trật Hội thánh tại Việt Nam.

Tông hiến được công bố ngày lễ Đức Mẹ Vô Nhiễm Nguyên Tội (8 tháng 12), chia Giáo hội Việt Nam thành ba giáo tỉnh: Hà Nội, Huế, Sài Gòn, mỗi Giáo Tỉnh gồm nhiều giáo phận. Cũng tông hiến này thành lập ba giáo phận mới là Đà Lạt, Mỹ Tho và Long Xuyên. Đứng đầu mỗi giáo tỉnh là một tổng Giám mục, và mỗi giáo phận là một Giám mục chính tòa.

Ngày 5 tháng 6 năm 1960 nhân lễ Chúa Thánh Thần hiện xuống, ông công bố tự sắc Superno Dei Nutu tuyên bố chấm dứt giai đoạn "tiền chuẩn bị" và mở đầu giai đoạn chuẩn bị, đặt ra 10 ủy ban chuẩn bị đến sau thêm 2 ủy ban.

Mỗi ủy ban và văn phòng đều có một hồng y làm chủ tịch; tất cả các công việc được tập trung và điều hành bởi một ủy ban trung ương, do chính ông đứng đầu và Giám mục Felici làm thư ký.

Năm 1961, ông đặt thêm 4 vị hồng y mới (16 tháng 1). Ngày 25 tháng 12, ông công bố tông hiến Humanae Salutis ấn định Công đồng sẽ triệu tập trong năm 1962.

Khai mạc cộng đồng

Ngày 2 tháng 2 năm 1962, ông ra Tự sắc Concilium, ấn định ngày khai mạc cộng đồng là ngày lễ Đức Mẹ Thiên Chúa (11 tháng 10). Ngày 22 tháng 2, tông hiến Veterum Sapientia được ban hành nhằm chấn hưng việc học và dùng tiếng La Tinh trong các chủng viện.

Ngày 19 tháng 3, Giáo hoàng tấn phong thêm 10 hồng y nâng con số hồng y lên 87 vị. Ngày 1 tháng 7 ông ban bố một thông điệp dạy làm việc sám hối cầu nguyện cho Cộng đồng và ngày 6 tháng 8 ông ký tự sắc Appropiquante Concilio ấn định bản quy luật cộng đồng thành lập đoàn chủ tịch gồm 10 hồng y.

Trong thông điệp 11 tháng 9 năm 1962, trước cộng đồng một tháng, ông nói tới việc: "quét sạch bụi bặm trên khuôn mặt Giáo hội" và khẳng định "Giáo hội phải là Giáo hội của người nghèo". Tháng 10 năm 1962 Giáo hoàng Gioan ngỏ lời trước một Hội đồng gồm 2500 Giám mục đến từ mọi nơi trên thế giới về họp Cộng đồng sắp tới.

"Người kế vị khiêm hạ của thủ lĩnh các tông đồ đang nói với chư huynh, người cuối cùng theo thời gian bằng cách triệu tập hội nghị quan trọng này muốn đưa ra một khẳng định mới về huấn quyền giáo hội luôn luôn sống động và sẽ tiếp tục cho đến tận cùng thời gian. Nhờ cộng đồng, kể cả những sai lầm, những nhu cầu và những khả năng của thời đại chúng ta, huấn quyền này sẽ được trình bày hôm nay một cách ngoại thường cho tất cả mọi người sống trên Trái Đất (...).Điều rất quan trọng đối với công đồng đại kết chính là kho tàng thánh của giáo lý Kitô giáo được gìn giữ và được trình bày một cách hữu hiệu hơn.Trong những công việc thường ngày của văn phòng mục vụ, nhiều khi chúng ta phải lắng nghe những lời của những người đầy nhiệt huyết mà một số người cho là quá buông lỏng và hư hỏng. Chúng ta tin là chúng ta sẽ có những bất đồng ý kiến về những điều được đem ra bàn cãi.. Trong hiện tại, Thiên Chúa quan phòng đang hướng dẫn chúng ta đến một trật tự mới trong niềm cảm thông giữa những con người đang nỗ lực thi hành những kế hoạch của Thiên Chúa, dù có những khác biệt giữa con ngưởi, ý kiến chung vẫn đưa dẫn đến những điều tốt đẹp cho Giáo hội".

Các Giám mục bảo thủ hăng hái lên án những sai lầm trong thời đại mới. Nhưng Giáo hoàng Gioan XXIII có những ý kiến mới mẻ: "Giáo hội luôn chống lại những sai lầm."

Giáo hoàng Gioan XXIII nói rất ít trong bài diễn văn khai mạc, nhưng ông luôn can thiệp khi có những bế tắc.

Diễn biến của công đồng

Tài liệu đầu tiên về Mặc Khải (Revelation) bị số đông các Giám mục loại bỏ, nhưng không đủ túc số để gạt bỏ hoàn toàn. Chính Giáo hoàng Gioan XXIII là người đã chỉ thị xem xét lại toàn bộ. Điều này làm cho số đông Giám mục phải bắt đầu lại từ sơ khởi với một nhóm chuyên viên mà có vài vị đã bị Vatican kiểm duyệt, như Karl Rahner, Yves Congar, Henri de Lubac và John Courtney Murray.

Mười hai ủy ban chuẩn bị được thành lập đã soạn thảo tất cả 70 lượt đồ. Trong số 3.070 nghị phụ được mời, thì 2.427 vị thuộc 134 quốc gia đã có mặt ngày khai mạc 11 tháng 10 năm 1962 (49 vị thuộc các nước theo Xã hội Chủ nghĩa) ngoài ra còn có 460 chuyên viên Thần học. Số quan sát viên các Giáo hội Kitô khác ban đầu có 31 sau lên đến 93 vị vào cuối cộng đồng. Số giáo dân dự thính là 36 trong đó có 7 phụ nữ.